Formule de la droite de régression

L’erreur commise en évaluant approximativement la valeur observée y_i par l’ordonnée du point d’abscisse x_i appartenant à la droite d’équation y = b x + a est égale à :

e_i = y_i – [b x_i + a]

On cherche les coefficients b et a tels que la somme des carrés des erreurs soit la plus petite possible. On a :

		n
S(a,b)	=	S	( yi – [ b xi + a] )^2
		i = 1

La fonc S(a,b) est un polynôme du second degré en a et en b dont les facteurs sont positifs :

( yi – [ b xi + a] )^2	= yi^2 + [ b xi + a]^2 – 2 [ b xi + a] yi
	= yi^2 + xi^2 b^2 + a^2 + 2 xi a b – 2 b xi yi – 2 a yi
	= a^2 + 2 [ xi b – yi ] a + yi^2 + xi^2 b^2 – 2 b xi yi

La somme S(a,b) est de la forme :

	n		n
S(a,b) = n a^2 + 2 a	S	(xi b – yi) +	S	[ yi^2 + xi^2 b^2 – 2 b xi yi ]
	i = 1		i = 1

Le paramètre b étant fixé, l’extremum de ce polynome du second degré en a est atteint pour :

	1		n
a = –	^___		S		(xi b – yi)
	n		i = 1
		1		n		1	n
= –	b	^___		S	xi +	^___	S	yi
		n		i = 1		n	i = 1
= –	[b	mx		–	my ]

On obtient :

a = m_y – b m_x

Le facteur de a² est égal à n ; il est positif. L’extremum est donc un minimum. On ordonne maintenant S(a,b) suivant les puissances décroissantes de b. On obtient encore un trinôme du second degré :

( yi – [ b xi + a] )^2	= yi^2 + xi^2 b^2 + a^2 + 2 xi a b – 2 b xi yi – 2 a yi
	= xi^2 b^2+ 2 [ xi a – xi yi ] b + yi^2 + a^2 – 2 a yi

La somme S(a,b) est de la forme :

	n		n			n
S(a,b) = b^2	S	xi^2 + 2 b	S	[xi a – xi yi ]	+	S	[yi^2 + a^2 – 2 a yi]
	i = 1		i = 1			i = 1

Le minimum de S(a,b) par rapport à b est atteint en :

	n
	S	[xi a – xi yi ]
	i = 1
b = –
	n
	S	xi^2
	i = 1

On remplace le paramètre a par sa valeur en fonction de b :

	n			n
b	S	xi^2	= –	S	[xi ( my – b mx) – xi yi ]
	i = 1			i = 1

Le second membre (changé de signe) est égal à :

n				n		n
S	[xi ( my – b mx) – xi yi ]	=	( my – b mx)	S	xi –	S	xi yi
i = 1				i = 1		i = 1
						n
		=	( my – b mx)	n mx	–	S	xi yi
						i = 1
						n
		=	– n b mx^2 +	n mx my	–	S	xi yi
						i = 1

On obtient finalement :

	n					n
b [	S	xi^2	–	n mx^2 ]	=	S	xi yi – n mx my
	i = 1					i = 1

D’où finalement, en divisant chaque membre par n :

b = cov (x,y) / s_x²